FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference
频率引导深度共享KV缓存压缩
🧭 长上下文LLM推理 · KV缓存压缩
Instituto de Investigación en Visión Artificial
推理时不需重训，通过频率分解与自适应模式分配压缩KV缓存，在长上下文任务中精度接近全缓存且实现3.9倍压缩
📌 工作参考价值（4 点）
- 对于利用长用户历史序列的推荐系统，可直接应用该技术压缩KV缓存，显著降低在线推理的显存和延迟
- 自适应分配压缩模式（共享深度/残差/精确）的思路可迁移到多任务推荐中的特征缓存管理，动态调整不同任务对历史状态的依赖
- 无需额外训练，适合快速集成到现有推理引擎，降低长上下文LLM在搜索、广告等场景的部署成本
- 低频分量共享策略可启发跨层特征融合设计，通过频域分解减少冗余缓存，提升工程效率